Fundamentals of Computer Graphics, Image Processing, and Vision 1 חלק מהשקפים מעובדים משקפים של פרדו דוראנד, טומס פנקהאוסר, טל הסנר וליאור שפירא

Transcription

1 Fundamentals of Computer Graphics, Image Processing, and Vision 1 חלק מהשקפים מעובדים משקפים של פרדו דוראנד, טומס פנקהאוסר, טל הסנר וליאור שפירא

2 Fundamentals of Computer Graphics, Image Processing, and Vision מרצים: דניאל כהן-אור והדר אלאור אתר שלי: אתר הקורס: שעת קבלה: בתאום )שרייבר 216( בודק תרגילים? 2

3 התכנית להיום הקדמה גרפיקה ממוחשבת ועיבוד תמונה ראיה ממוחשבת סילבוס )מה נלמד בקורס( דרישות )תרגילים, מבחן( Half Toning.1.2 3

4 The Visual Sciences The World Image Processing Image Computational Photography 3D Object Computer Vision Geometric Modeling Rendering Model 4

5 גרפיקה ממוחשבת? Imaging = representing 2D images Modeling = representing 3D objects Rendering = constructing 2D images from 3D models Animation = simulating changes over time 5

6 ראיה ממוחשבת? Methods for acquiring, processing, analyzing, and understanding images Challenge: Structure and depth are inherently ambiguous from single views. 6

7 עיבוד תמונה? Manipulation of images to produce new images 7

8 Computer Graphics 8

9 שימושים לגרפיקה ממוחשבת Entertainment Computer-aided design Scientific visualization Training Education E-commerce Computer art King Kong (Universal Pictures) Flower (Sony) The Incredibles (Pixar) Crysis (Crytek) 9

10 Movies and TV Surf s up (sony) Rugby commercial (ad) (making of) Octapodi Movie Making of 10

11 Luxo Jr Pixar Animation Studios, 1986 Director: John Lasseter 11

12 Doom 1996 Doom II Games Unreal 1997 Quake II 2004 UT CryEngine 3 12

13 Simulation 13

14 Applications Entertainment Computer-aided design Scientific visualization Training Education E-commerce Computer art Los Angeles Airport (Bill Jepson, UCLA) Gear Shaft Design (Intergraph Corporation) Boeing 777 Airplane (Boeing Corporation) 14

15 CAD-CAM & design 15

16 Virtual reality Virtual Reality C.A.V.E Augmented Reality Augmented Virtuality Human-Machine Interfaces Jeeves Photogeist Virtual Worlds 16

17 Applications Entertainment Computer-aided design Scientific visualization Training Education E-commerce Computer art Airflow Inside a Thunderstorm (Bob Wilhelmson, University of Illinois at Urbana-Champaign) Molecular Surface Abstraction (Cipriano et al) Apo A-1 (Theoretical Biophysics Group, University of Illinois at Urbana-Champaign) Interactive Cutaway Illustrations (Microsoft Research) 17

18 Medical imaging 18

19 Applications Entertainment Computer-aided design Scientific visualization Training Education E-commerce Computer art Driving Simulation (Evans & Sutherland) Desk Assembly (Silicon Graphics, Inc.) Flight Simulation (NASA) 19

20 Applications Entertainment Computer-aided design Scientific visualization Training Education E-commerce Computer art Forum of Trajan (Bill Jepson, UCLA) Human Skeleton (SGI) 20

21 Applications Entertainment Computer-aided design Scientific visualization Training Education E-commerce Computer art Second Life Virtual Phone Store (Lucent Technologies) 21

22 Applications Entertainment Computer-aided design Scientific visualization Training Education E-commerce Computer art וכל התמונות המפוזרות לאורך המצגת... Blair Arch (Marissa Range & Adam Finkelstein, Princeton University)c 22

23 סילבוס The screen is a window through which one sees a virtual world. The challenge is to make that world look real, act real, sound real, feel real. Sutherland,

24 סילבוס 1. Image processing 2. Image manipulation 3. Rendering 4. Modeling 5. Animation 6. Computer Vision Image Processing (Rusty Coleman, CS426, Fall99) Rendering (Michael Bostock, CS426, Fall99) Animation (Angel, Plate 1) Modeling (Dennis Zorin, CalTech) Computer Vision 24

25 Image Processing Raster Graphics Display devices Color models Image Representation Sampling Reconstruction Quantization & Aliasing Image Processing Filtering Warping Morphing Composition Image Morphing (All students in CS 426, Fall98) Image Composition (Michael Bostock, CS426, Fall99) Seam Carving (Shamir,Avidan) 25

26 Rendering 3D Rendering Pipeline Modeling transformations Viewing transformations Hidden surface removal Illumination, shading, and textures Scan conversion, clipping Hierarchical scene graphics OpenGL Global illumination Ray tracing Radiosity OpenGL (Chi Zhang, CS 426, Fall99) Ray Tracing (James Percy, CS 426, Fall99) 26

27 Ray Casting For every pixel construct a ray from the eye For every object in the scene Find intersection with the ray Keep if closest 27

28 The Rendering Pipeline Transformations Clipping Rasterization Visibility 28

29 Rendering - NPR Non Photorealistic Rendering Real-time Pencil Rendering (Lee et al) 3D Collage (Gal et al) Zelda the Windwalker (Nintendo) 29

30 Modeling Representations of geometry Curves: splines Surfaces: meshes, splines, subdivision Solids: Voxels, CSG, BSP Procedural modeling Sweeps Fractals Grammars Shell (Douglas Turnbull, CS 426, Fall99) Scenery Designer (Dirk Balfanz, Igor Guskov, Sanjeev Kumar, & Rudro Samanta, CS426, Fall95) 30

31 Modeling Curved surfaces Subdivision surfaces Bump Mapping 31

32 Textures and Shading Just the model 3drender.com/jbirn/hippo/hairyhipponose.html 32

33 Textures and Shading Add a little shading 3drender.com/jbirn/hippo/hairyhipponose.html 33

34 Textures and Shading And sprinkle some textures and shadows 3drender.com/jbirn/hippo/hairyhipponose.html 34

35 Animation: Keyframing ACM 1987 Principles of traditional animation applied to 3D computer animation 35

36 Animation Keyframing Kinematics Articulated figures Motion capture Capture Warping Dynamics Physically-based simulations Particle systems Behaviors Planning, learning, etc. Flocking Behaviour 1978 ( Reynolds) Deformation Transfer (Sumner et al) Style Based Inverse Kinematics )Grochow et al) 36

37 לא בבית ספרנו Computational Photography Coded Aperture Pairs for Depth from Defocus, ICCV 09 37

38 Computer Vision Human Detection Using Partial Least Squares Analysis, ICCV 09 Building Rome in a day, ICCV 09 (youtube, project) Introduction to computer vision Image segmentation with a Bounding Box Prior, ICC 09 38

39 Shape from Shading [Figure from Prados & Faugeras 2006]

40 Shape from Texture [From A.M. Loh. The recovery of 3-D structure using visual texture pattern

41 Shape from Motion Figures from L. Zhang

42 Stereo pipeline with weak calibration Grauman

43 Gradients and Edge Detection 43

44 Optical Flow

45 Image-based Rendering Use images as inputs and representation E.g. Image-based modeling and photo editing Boh, Chen, Dorsey and Durand 2001 Input image New viewpoint Relighting 45

46 Graphics, Vision or Image Processing? Body Reshape Autoscanning 46

47 Course Schedule 47

48 דרישות השיעורים כל שבוע יתקיים שיעור בן 3 שעות התרגילים במהלך הסמסטר יינתנו 3 תרגילים מעשיים התרגילים הינם חובה משקל התרגילים בציון הוא המבחן וייעשו בזוגות כ- 40% יתקיים בסוף הסמסטר, משקלו 60% )לא מתחלק שווה בשווה( 48

49 התרגילים מידע נוסף התרגילים ייעשו בזוגות )אין אישור לעבוד לבד, אסור יותר מזוג( אתם חייבים לכתוב קוד בעצמכם )לא להוריד מהאינטרנט( אם אתם משתמשים ברעיונות, לכל תרגיל יינתנו הוראות מפורטות. זה בסדר ל... לדבר עם סטודנטים אחרים על גישה, לקבל מידע ורעיונות מספרים, האינטרנט ספריות תוכנה עליכם לציין זאת בהגשה ולתת קרדיט. רעיונות וכו' וכו' להשתמש בספריות עזר )לעיבוד תמונה, הצגת תלת מימד( אך עליכם לציין במה השתמשתם זה לא בסדר! לשתף קוד עם סטודנטים אחרים להשתמש ברעיונות או קוד בלי לציין זאת 49

50 בהצלחה בקורס! שבוע הבא תרגיל ראשון, תמצאו בן זוג! 50